Previous studies have explored generating accurately lip-synced talking faces for arbitrary targets given audio conditions. However, most of them deform or generate the whole facial area, leading to non-realistic results. In this work, we delve into the formulation of altering only the mouth shapes of the target person. This requires masking a large percentage of the original image and seamlessly inpainting it with the aid of audio and reference frames. To this end, we propose the Audio-Visual Context-Aware Transformer (AV-CAT) framework, which produces accurate lip-sync with photo-realistic quality by predicting the masked mouth shapes. Our key insight is to exploit desired contextual information provided in audio and visual modalities thoroughly with delicately designed Transformers. Specifically, we propose a convolution-Transformer hybrid backbone and design an attention-based fusion strategy for filling the masked parts. It uniformly attends to the textural information on the unmasked regions and the reference frame. Then the semantic audio information is involved in enhancing the self-attention computation. Additionally, a refinement network with audio injection improves both image and lip-sync quality. Extensive experiments validate that our model can generate high-fidelity lip-synced results for arbitrary subjects.

Co-speech gesture is crucial for human-machine interaction and digital entertainment. While previous works mostly map speech audio to human skeletons (e.g., 2D keypoints), directly generating speakers' gestures in the image domain remains unsolved. In this work, we formally define and study this challenging problem of audio-driven co-speech gesture video generation, i.e., using a unified framework to generate speaker image sequence driven by speech audio. Our key insight is that the co-speech gestures can be decomposed into common motion patterns and subtle rhythmic dynamics. To this end, we propose a novel framework, Audio-driveN Gesture vIdeo gEneration (ANGIE), to effectively capture the reusable co-speech gesture patterns as well as fine-grained rhythmic movements. To achieve high-fidelity image sequence generation, we leverage an unsupervised motion representation instead of a structural human body prior (e.g., 2D skeletons). Specifically, 1) we propose a vector quantized motion extractor (VQ-Motion Extractor) to summarize common co-speech gesture patterns from implicit motion representation to codebooks. 2) Moreover, a co-speech gesture GPT with motion refinement (Co-Speech GPT) is devised to complement the subtle prosodic motion details. Extensive experiments demonstrate that our framework renders realistic and vivid co-speech gesture video. Demo video and more resources can be found in: https://alvinliu0.github.io/projects/ANGIE

Deep 3D point cloud models are sensitive to adversarial attacks, which poses threats to safety-critical applications such as autonomous driving. Robust training and defend-by-denoise are typical strategies for defending adversarial perturbations, including adversarial training and statistical filtering, respectively. However, they either induce massive computational overhead or rely heavily upon specified noise priors, limiting generalized robustness against attacks of all kinds. This paper introduces a new defense mechanism based on denoising diffusion models that can adaptively remove diverse noises with a tailored intensity estimator. Specifically, we first estimate adversarial distortions by calculating the distance of the points to their neighborhood best-fit plane. Depending on the distortion degree, we choose specific diffusion time steps for the input point cloud and perform the forward diffusion to disrupt potential adversarial shifts. Then we conduct the reverse denoising process to restore the disrupted point cloud back to a clean distribution. This approach enables effective defense against adaptive attacks with varying noise budgets, achieving accentuated robustness of existing 3D deep recognition models.

鉴于其广泛的应用，已经对人面部交换的任务进行了许多尝试。尽管现有的方法主要依赖于乏味的网络和损失设计，但它们仍然在源和目标面之间的信息平衡中挣扎，并倾向于产生可见的人工制品。在这项工作中，我们引入了一个名为StylesWap的简洁有效的框架。我们的核心想法是利用基于样式的生成器来增强高保真性和稳健的面部交换，因此可以采用发电机的优势来优化身份相似性。我们仅通过最小的修改来确定，StyleGAN2体系结构可以成功地处理来自源和目标的所需信息。此外，受到TORGB层的启发，进一步设计了交换驱动的面具分支以改善信息的融合。此外，可以采用stylegan倒置的优势。特别是，提出了交换引导的ID反转策略来优化身份相似性。广泛的实验验证了我们的框架会产生高质量的面部交换结果，从而超过了最先进的方法，既有定性和定量。

尽管在各种应用中取得了突出的性能，但点云识别模型经常遭受自然腐败和对抗性扰动的困扰。在本文中，我们深入研究了点云识别模型的一般鲁棒性，并提出了点云对比对抗训练（PointCat）。 PointCat的主要直觉是鼓励目标识别模型缩小清洁点云和损坏点云之间的决策差距。具体而言，我们利用有监督的对比损失来促进识别模型提取的超晶体特征的对齐和均匀性，并设计一对带有动态原型指南的集中式损失，以避免这些特征与其属于其属于其归属类别群的偏离。为了提供更具挑战性的损坏点云，我们对噪声生成器以及从头开始的识别模型进行了对手训练，而不是将基于梯度的攻击用作内部循环，例如以前的对手训练方法。全面的实验表明，在包括各种损坏的情况下，所提出的PointCat优于基线方法，并显着提高不同点云识别模型的稳健性，包括各向同性点噪声，LIDAR模拟的噪声，随机点掉落和对抗性扰动。

重要性采样（IS）是非政策评估中的一种流行技术，它重新赋予了重播缓冲液中轨迹的回归以提高样本效率。但是，对IS进行培训可能是不稳定的，以前试图解决此问题的尝试主要集中于分析IS的差异。在本文中，我们揭示了不稳定性与IS的重复使用偏见的新概念有关 - 由重复使用缓冲液重用进行评估和优化引起的非政策评估偏差。从理论上讲，我们证明了对当前策略的非政策评估和优化，并通过重播缓冲区的数据导致目标高估，这可能会导致错误的梯度更新并退化性能。我们进一步提供了重复使用偏差的高概率上限，并表明控制上限的一个项可以通过引入非政策算法的稳定性概念来控制重复使用偏置。基于这些分析，我们最终提出了一种新颖的偏见调查重要性抽样（BIRIS）框架以及实际算法，可以减轻重复使用偏见的负面影响。实验结果表明，我们基于BIRIS的方法可以显着提高一系列连续控制任务的样品效率。

从单眼图像中学习的自我监督深度学习通常依赖于暂时相邻图像帧之间的2D像素光度关系。但是，他们既没有完全利用3D点的几何对应关系，也没有有效地应对闭塞或照明不一致引起的光度扭曲中的歧义。为了解决这些问题，这项工作提出了密度量构建网络（DEVNET），这是一种新型的自我监管的单眼深度学习框架，可以考虑3D空间信息，并利用相邻的相机flustums中的更强的几何约束。我们的DEVNET不是直接从单个图像中回归像素值，而是将摄像头划分为多个平行的平面，并预测每个平面上的点闭塞概率密度。最终的深度图是通过沿相应射线集成密度来生成的。在训练过程中，引入了新颖的正则化策略和损失功能，以减轻光度歧义和过度拟合。如果没有明显放大的模型参数的大小或运行时间，DEVNET在Kitti-2015室外数据集和NYU-V2室内数据集上均优于几个代表性基准。特别是，在深度估计的任务中，在Kitti-2015和NYU-V2上，DEVNET均减少了4％的根平方。代码可在https://github.com/gitkaichenzhou/devnet上找到。

在计算机视觉和图形社区中，长期以来，现实的生成面部视频综合一直是追求。但是，现有的视频生成方法倾向于产生具有漂移的面部身份和不自然运动的低质量框架。为了应对这些挑战，我们提出了一个名为stylefacev的原则框架，该框架生产具有生动动作的高保真身份的面部视频。我们的核心洞察力是分解外观并构成信息，并在StyleGan3的潜在空间中重新组装它们，以产生稳定而动态的结果。具体而言，stylegan3为高保真的面部图像生成提供了强大的先验，但潜在空间本质上是纠缠的。通过仔细检查其潜在特性，我们提出了分解和重组设计，从而可以使面部外观和运动的结合结合在一起。此外，依赖时间依赖的模型是建立在分解的潜在特征的基础上的，并示例了能够生成现实且具有时间连贯的面部视频的合理运动序列。特别是，我们的管道对静态图像和高质量视频数据的联合培训策略进行了培训，该策略具有更高的数据效率。广泛的实验表明，我们的框架可以在定性和定量上实现最先进的视频生成。值得注意的是，即使没有高分辨率培训视频，StyleFacev也能够生成现实$ 1024 \ times1024 $面对视频。

尽管令人鼓舞的是深泡检测的进展，但由于训练过程中探索的伪造线索有限，对未见伪造类型的概括仍然是一个重大挑战。相比之下，我们注意到Deepfake中的一种常见现象：虚假的视频创建不可避免地破坏了原始视频中的统计规律性。受到这一观察的启发，我们建议通过区分实际视频中没有出现的“规律性中断”来增强深层检测的概括。具体而言，通过仔细检查空间和时间属性，我们建议通过伪捕获生成器破坏真实的视频，并创建各种伪造视频以供培训。这种做法使我们能够在不使用虚假视频的情况下实现深泡沫检测，并以简单有效的方式提高概括能力。为了共同捕获空间和时间上的破坏，我们提出了一个时空增强块，以了解我们自我创建的视频之间的规律性破坏。通过全面的实验，我们的方法在几个数据集上表现出色。

CutMix是一种流行的增强技术，通常用于训练现代卷积和变压器视觉网络。它最初旨在鼓励卷积神经网络（CNN）更多地关注图像的全球环境，而不是本地信息，从而大大提高了CNN的性能。但是，我们发现它对自然具有全球接收领域的基于变压器的体系结构的好处有限。在本文中，我们提出了一种新型的数据增强技术图，以提高视觉变压器的性能。 TokenMix通过将混合区分为多个分离的零件，将两个图像在令牌级别混合。此外，我们表明，Cutmix中的混合学习目标是一对地面真相标签的线性组合，可能是不准确的，有时是违反直觉的。为了获得更合适的目标，我们建议根据预先训练的教师模型的两个图像的基于内容的神经激活图分配目标得分，该图像不需要具有高性能。通过大量有关各种视觉变压器体系结构的实验，我们表明我们提出的TokenMix可以帮助视觉变形金刚专注于前景区域，以推断班级并增强其稳健性，以稳定的性能增长。值得注意的是，我们使用 +1％Imagenet TOP-1精度改善DEIT-T/S/B。此外，TokenMix的训练较长，在Imainet上获得了81.2％的TOP-1精度，而DEIT-S训练了400个时代。代码可从https://github.com/sense-x/tokenmix获得。